package com.cobra.rdd.builder

import org.apache.spark.{SparkConf, SparkContext}

object Spark02_RDD_File_Par {
  def main(args: Array[String]): Unit = {
    //准备环境
    val sparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(sparkConf)
    //创建rdd
    //1.spark 读取文件，采用的是hadoop的方式读取，所以一行一行读取，和字节数没有关系
    //2.数据读取时以偏移量为单位
    //1@@ => 012
    //2@@ => 345
    //3   => 6
    //3.数据分区的偏移量范围的计算
    //0 => [0,3] 如果读取到3，那么3这一行也会记录在第一个文件中,同样不可以重复读取
    //1 => [3,6]
    //2 => [6,7]
    val rdd = sc.textFile("datas/11.txt",2)
    rdd.saveAsTextFile("outputFile")
    //关闭环境
    sc.stop()
  }
}
